苹果发现多模态模型Scaling Laws 早融合比后融合好MoE胜密集模型
目前我们见到的很多多模态大模型应用是「组合式」的：其中集成了数个单独预训练的组件，例如将视觉编码器连接到 LLM 上并继续进行多模态训练；而在谷歌 Gemin 2.0 推出之后，原生多模态模型（NMM）被认为是正确的方向。
模型 模态 moe laws scalinglaws 2025-04-13 14:23 12
moe
DeepSeek、Nvidia连发新研究！AI进入专才时代，你该怎么办？
在关税热闹的声势里，AI领域依然保持着高速进步的趋势，我们注意到DeepSeek、TikTok、Nvidia连发新的研究成果。
AI看柯南2分钟揪真凶，商汤600B多模态MoE推理封神！交互记忆全线
就在刚刚，商汤第六代大模型震撼升级，强推理、强交互、长记忆能力拉满。更惊人的是，这个模型彻底了实现文本、图像和视频的原生融合，看一段几分钟柯南视频，就能推断出凶手的作案手法，推理绝了！
手机实现GPT级智能，比MoE更极致的稀疏技术：省内存效果不减
面壁智能和清华走出了一条与MoE不同的路径——神经元级稀疏激活，让模型在保持性能的同时大幅降低资源消耗。
新壹科技文旅AI解决方案：MoE架构助力文旅产业变革
在文旅产业数字化转型的当下，新壹科技推出专家模型（MoE）架构的文旅AI解决方案。此方案融合多种技术能力，重点在景点智能营销、内容生成、客服交互和沉浸式互动等场景发力，提升文旅产业效率与体验。
AI看柯南2分钟揪真凶，商汤600B多模态MoE推理封神！交互记忆升级
就在刚刚，商汤第六代大模型震撼升级，强推理、强交互、长记忆能力拉满。更惊人的是，这个模型彻底了实现文本、图像和视频的原生融合，看一段几分钟柯南视频，就能推断出凶手的作案手法，推理绝了！
智启文旅新纪元！新壹科技深入AI垂直场景重构产业生态
在数字文旅浪潮下,新壹科技发布文旅行业融合混合专家模型(MoE)智能解决方案,通过动态路由技术与多模态处理能力的创新整合,为景区营销、服务升级及体验优化提供全链路支持。该系统实测可降低40%算力成本,提升80%内容生产效率,标志着其"AI+垂直场景"探索进入新
200B参数击败满血DeepSeek-R1，字节豆包推理模型Seed-Thinking-v1.5
字节跳动豆包团队今天发布了自家新推理模型Seed-Thinking-v1.5的技术报告。从报告中可以看到，这是一个拥有 200B 总参数的 MoE 模型，每次工作时会激活其中 20B 参数。其表现非常惊艳，在各个领域的基准上都超过了拥有 671B 总参数的 D
200B参数击败满血DeepSeek-R1，豆包推理模型Seed-Thinking-v1.5
字节跳动豆包团队今天发布了自家新推理模型Seed-Thinking-v1.5的技术报告。从报告中可以看到，这是一个拥有 200B 总参数的 MoE 模型，每次工作时会激活其中 20B 参数。其表现非常惊艳，在各个领域的基准上都超过了拥有 671B 总参数的 D
200B参数击败满血DeepSeek-R1
字节跳动豆包团队今天发布了自家新推理模型 Seed-Thinking-v1.5 的技术报告。从报告中可以看到，这是一个拥有 200B 总参数的 MoE 模型，每次工作时会激活其中 20B 参数。其表现非常惊艳，在各个领域的基准上都超过了拥有 671B 总参数的
MoE模型已成新风口，AI基础设施竞速升级
因为基准测试成绩与实际表现相差较大，近期开源的 Llama 4 系列模型正陷入争议的漩涡之中，但有一点却毫无疑问： MoE（混合专家） 定然是未来 AI 大模型的主流范式之一。从 Mixtral 到 DeepSeek 再到 Qwen2.5-Max 以及 Lla
DeepSeek-R1与Grok-3：AI规模扩展的两条技术路线启示
据Counterpoint Research，Grok-3 展现了无妥协的规模扩张——约200,000块NVIDIA H100 显卡追求前沿性能提升。而DeepSeek-R1 仅用少量计算资源就实现了相近的性能，这表明创新的架构设计和数据策展能够与蛮力计算相抗
新加坡教育部紧急喊停：这类广告禁止出现在校门口
2025年2月5日，新加坡教育部兼人力部政务部长颜晓芳在国会口头答复惹兰勿刹集选区议员文佳礼博士、杨厝港单选区议员叶汉荣、武吉班让单选区议员连荣华、义顺集选区议员陈浍敏有关补习支出增长对教育公平影响及政策应对的问题。
昇腾大规模专家并行技术解码 —— All to All 通信优化
随着DeepSeek火爆全网，混合专家（Mixture of Experts, MoE）技术也成功出圈。凭借优秀的性能，MoE成为大语言模型（LLM）界的顶流。在各行各业加速接入国产开源大模型DeepSeek的同时，人工智能领域大范围落地应用也带来了庞大的算力
AI模型迭代加速行业变革，伦理规范与内容安全成发展关键
人工智能领域正经历前所未有的变革浪潮。模型能力迭代（如Llama4、GPT-4o）与垂直场景渗透（司法、教育、商业）双轮驱动，推动行业效率与服务质量的跨越式升级。与此同时，内容安全、伦理规范及商业变现路径的清晰化，成为技术落地进程中的关键议题。
三个LLM顶一个OpenAI？2亿条性能记录加持，路由n个小模型逆袭
路由LLM是指一种通过Router动态分配请求到若干候选LLM的机制。论文提出且开源了针对router设计的全面RouterEval基准，通过整合8500+个LLM在12个主流Benchmark上的2亿条性能记录。将大模型路由问题转化为标准的分类任务，使研究者
Llama 4 家族：原生多模态 AI 创新的新时代开启
Meta发布 Llama 4 系列的首批模型，帮用户打造更个性化多模态体验Llama 4 Scout是有 170 亿激活参数、16 个专家模块的模型，同类中全球最强多模态模型，性能超越以往所有 Llama 系列模型，能在一张 NVIDIA H100 GPU 上
就在这个月了，Llama 4终于要来了
据两位了解情况的人士称，发布推迟的关键原因之一，是该模型在开发过程中的技术基准测试表现未能完全达到Meta的内部预期，尤其在推理和数学任务方面存在短板。
AMD GPU性能暴涨7倍，优化算法首次开源！高效MoE支持任意专家数量
通过完全启用并发多块执行，支持任意专家数量（MAX_EXPERT_number==256），并积极利用共享内存（5kB LDS）和寄存器（52 VGPRs，48 SGPRs），MoE Align & Sort逻辑被精心设计，实现了显著的性能提升：A100提升3
大模型核心技术解析：蒸馏、量化、MoE与多头注意力在测试中应用
本文解析四项关键技术原理及其在测试中的落地场景，提供可复用的优化思路。